Warning: this paper contains content that may be offensive or upsetting. In the current context where online platforms have been effectively weaponized in a variety of geo-political events and social issues, Internet memes make fair content moderation at scale even more difficult. Existing work on meme classification and tracking has focused on black-box methods that do not explicitly consider the semantics of the memes or the context of their creation. In this paper, we pursue a modular and explainable architecture for Internet meme understanding. We design and implement multimodal classification methods that perform example- and prototype-based reasoning over training cases, while leveraging both textual and visual SOTA models to represent the individual cases. We study the relevance of our modular and explainable models in detecting harmful memes on two existing tasks: Hate Speech Detection and Misogyny Classification. We compare the performance between example- and prototype-based methods, and between text, vision, and multimodal models, across different categories of harmfulness (e.g., stereotype and objectification). We devise a user-friendly interface that facilitates the comparative analysis of examples retrieved by all of our models for any given meme, informing the community about the strengths and limitations of these explainable methods.

旨在玩图灵的模仿游戏的人工智能，也不是为了最大程度地提高人类对信息操纵而构建的增强情报，以加速创新并改善人类对其最大挑战的集体进步。我们重新概念化并进行了试点AI，可以通过补充人类认知能力来从根本上增强人类的理解。我们的互补情报方法建立在人群智慧的基础上，这取决于人群成员的信息和方法的独立性和多样性。通过将有关科学专业知识不断发展的科学专业知识分布的信息结合在一起，我们的方法遵循文献中内容的分布，同时避免了科学人群和假设可供选择。我们使用这种方法来生成有价值的预测，这些预测具有有价值的能源相关特性（例如，热电学），以及哪些化合物具有补充人类科学人群的有价值的医疗特性（例如，哮喘）。我们证明，如果人类科学家和发明者的确定，我们的互补预测只会在未来进一步发现几年。当我们通过第一原理方程评估预测的承诺时，我们证明了预测的互补性的增加不会减少，在某些情况下会增加预测具有目标特性的概率。总而言之，通过调整AI避免人群，我们可以产生假设，直到遥远的未来，并承诺将科学进步打断。通过确定和纠正集体人类偏见，这些模型还提出了通过重新提高科学教育的发现来改善人类预测的机会。

主动学习（AL）是一个有希望的ML范式，有可能解析大型未标记数据并有助于降低标记数据可能令人难以置信的域中的注释成本。最近提出的基于神经网络的AL方法使用不同的启发式方法来实现这一目标。在这项研究中，我们证明，在相同的实验环境下，不同类型的AL算法（基于不确定性，基于多样性和委员会）产生了与随机采样基线相比的不一致增长。通过各种实验，控制了随机性来源，我们表明，AL算法实现的性能指标方差可能会导致与先前报道的结果不符的结果。我们还发现，在强烈的正则化下，AL方法在各种实验条件下显示出比随机采样基线的边缘或没有优势。最后，我们以一系列建议进行结论，以了解如何使用新的AL算法评估结果，以确保在实验条件下的变化下结果可再现和健壮。我们共享我们的代码以促进AL评估。我们认为，我们的发现和建议将有助于使用神经网络在AL中进行可重复的研究。我们通过https://github.com/prateekmunjal/torchal开源代码